हाल ही में, माइक्रोसॉफ्ट रिसर्च ने वाशिंगटन विश्वविद्यालय, स्टैनफोर्ड विश्वविद्यालय, दक्षिणी कैलिफोर्निया विश्वविद्यालय, कैलिफोर्निया विश्वविद्यालय डेविस कैंपस और कैलिफोर्निया विश्वविद्यालय सैन फ्रांसिस्को के शोधकर्ताओं के साथ मिलकर LLaVA-Rad का शुभारंभ किया, जो एक नए प्रकार का छोटा मल्टी-मोडल मॉडल (SMM) है। इसका उद्देश्य नैदानिक रेडियोलॉजी रिपोर्ट बनाने की दक्षता को बढ़ाना है। इस मॉडल का लॉन्च न केवल चिकित्सा छवि प्रसंस्करण तकनीक में एक बड़ी प्रगति का प्रतीक है, बल्कि रेडियोलॉजी के नैदानिक अनुप्रयोगों के लिए और अधिक संभावनाओं को लाता है। बायोमेडिकल क्षेत्र में, बड़े पैमाने पर आधारभूत मॉडल पर आधारित शोध पहले से ही विकसित हो चुका है।

हाल के वर्षों में, कृत्रिम बुद्धिमत्ता तकनीक में उल्लेखनीय प्रगति हुई है, लेकिन कंप्यूटेशनल दक्षता और बहुआयामीता के बीच समसामयिक चुनौतियाँ अभी भी मौजूद हैं। कई उन्नत मल्टी-मोडल मॉडल, जैसे GPT-4, आमतौर पर बड़े पैमाने पर कंप्यूटेशनल संसाधनों की आवश्यकता होती है, जिससे उनका उच्च अंत सर्वरों पर उपयोग सीमित हो जाता है, और स्मार्ट तकनीकों को स्मार्टफोन और टैबलेट जैसे किनारे के उपकरणों पर प्रभावी ढंग से उपयोग में लाने में कठिनाइयाँ उत्पन्न होती हैं। इसके अलावा, रीयल-टाइम वीडियो विश्लेषण या वॉयस-टू-टेक्स्ट जैसे कार्यों को संसाधित करना तकनीकी बाधाओं का सामना कर रहा है, जिससे सीमित हार्डवेयर परिस्थितियों में निर्बाध रूप से काम करने के लिए प्रभावी और लचीले एआई मॉडल की आवश्यकता को रेखांकित किया गया है।

जिप्ल टेक्नोलॉजी ने हाल ही में अपने एंड-साइड बड़े भाषा और मल्टी-मोडल मॉडल GLM-Edge श्रृंखला का ओपन सोर्स करने की घोषणा की है, यह कदम कंपनी के लिए एंड-साइड वास्तविक उपयोग परिदृश्यों में एक महत्वपूर्ण प्रयास का प्रतीक है। GLM-Edge श्रृंखला में चार विभिन्न आकारों के मॉडल शामिल हैं, जिसमें GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B और GLM-Edge-V-5B शामिल हैं, जो मोबाइल प्लेटफार्मों जैसे फोन, कार उपकरण और डेस्कटॉप प्लेटफार्मों जैसे PC के लिए अनुकूलित किए गए हैं।

फ्रांस की कृत्रिम बुद्धिमत्ता स्टार्टअप कंपनी Mistral AI ने अपने Le Chat AI सहायक के लिए एक श्रृंखला नई विशेषताओं की घोषणा की है, जिसमें एकीकृत वेब खोज, छवि निर्माण और हाल ही में लॉन्च किया गया Pixtral Large मॉडल शामिल है। Le Chat के अपग्रेड के साथ, उपयोगकर्ता अब सीधे Le Chat के माध्यम से वास्तविक समय की वेब सामग्री तक पहुंच सकते हैं, आसानी से आवश्यक जानकारी प्राप्त कर सकते हैं। साथ ही, Black Forest Labs के Flux Pro मॉडल की मदद से, उपयोगकर्ता भी

हाल ही में, एक ओपन-सोर्स मल्टी-मोडल आर्टिफिशियल इंटेलिजेंस मॉडल Molmo ने उद्योग में व्यापक ध्यान आकर्षित किया है। यह Qwen2-72B के आधार पर, OpenAI के CLIP को दृश्य प्रसंस्करण इंजन के रूप में उपयोग करते हुए, अपने उत्कृष्ट प्रदर्शन और नवोन्मेषक कार्यों के साथ पारंपरिक व्यावसायिक मॉडलों के प्रभुत्व को चुनौती दे रहा है। Molmo की प्रमुख विशेषता इसकी प्रभावी प्रदर्शन क्षमता है। हालांकि इसका आकार अपेक्षाकृत छोटा है, लेकिन इसकी प्रसंस्करण क्षमता बड़े प्रतिद्वंद्वियों के साथ तुलना करने के लिए पर्याप्त है जो आकार में दस गुना अधिक हैं। यह छोटा लेकिन सटीक डिज़ाइन दृष्टिकोण मॉडल की दक्षता को भी बढ़ाता है।

21 सितंबर 2024, अलीबाबा ने हांग्जो में युंक्वी सम्मेलन में कई तकनीकी नवाचारों और व्यावसायिक विकासों की नई योजनाओं की घोषणा की। इसके तहत, मोडोंग समुदाय ने AIGC क्षेत्र का आधिकारिक रूप से शुभारंभ किया, जिसका उद्देश्य डेवलपर्स को एक समग्र AI निर्माण और विकास मंच प्रदान करना है। यह मंच वर्तमान में सभी कार्यात्मक खंडों और GPU कंप्यूटिंग शक्ति को मुफ्त में उपलब्ध कराता है, पहले बैच में 157 चयनित मल्टी-मोडल मॉडल, जिसमें समुदाय के लोकप्रिय मॉडल और डिजाइनरों द्वारा योगदान किए गए विभिन्न स्टाइलिश LoRa मॉडल शामिल हैं।

दीवार पर छोटे गोलाकार MiniCPM-V श्रृंखला का नवीनतम संस्करण 2.6 GitHub और HuggingFace के ट्रेंडिंग चार्ट पर तेजी से Top3 पर पहुंच गया है, और सितारों की संख्या दस हजार को पार कर गई है। फरवरी में रिलीज़ के बाद, इसका कुल डाउनलोड एक मिलियन से अधिक हो गया है, और यह एज मॉडल क्षमता को मापने का बेंचमार्क बन गया है। MiniCPM-V2.6 ने 8B पैरामीटर्स के साथ एज मल्टी-मोडल मॉडल के प्रदर्शन में सुधार किया है, जिसमें रीयल-टाइम वीडियो समझ, बहु चित्र संयुक्त समझ और बहु चित्र ICL जैसी विशेषताएँ शामिल हैं। क्वांटाइजेशन के बाद, एज के लिए मेमोरी केवल 6GB है, और इन्फेरेंस की गति 18 टोकन प्रति सेकंड तक पहुँचती है।

स्केचपैड LM को रेखाओं, बॉक्सों, मार्करों आदि का उपयोग करके चित्र बनाने में सक्षम बनाता है, जो मानव स्केचिंग के और करीब है और तर्क करने में अधिक सुविधाजनक है। इसके अलावा, स्केचपैड चित्रण प्रक्रिया में पेशेवर दृश्य मॉडलों का उपयोग कर सकता है, जैसे कि ऑब्जेक्ट डिटेक्शन मॉडल का उपयोग करके बॉउंडरी बॉक्स बनाना, और सेगमेंटेशन मॉडल का उपयोग करके मास्क बनाना, जिससे दृश्य ग्रहणशीलता और तर्क क्षमता को और बढ़ाया जा सके।

कैलिफ़ोर्निया विश्वविद्यालय, सांता क्रूज़ द्वारा विकसित MiniGPT-5 मॉडल ने पाठ और चित्रों के बीच प्रभावी समन्वय स्थापित किया। MiniGPT-5 मल्टी-मोडल एनकोडर और जनरेटिव वोकन तकनीक का उपयोग करता है, जो सुसंगत, उच्च गुणवत्ता वाले पाठ और चित्र उत्पन्न करता है। विभिन्न डेटा सेटों पर मॉडल के परीक्षण ने तुलना में बेहतर प्रदर्शन किया है, जिससे इसकी मजबूत अनुकूलन क्षमता प्रदर्शित होती है।

तिंगहुआ विश्वविद्यालय और ज़िज़ू एआई के सहयोग से विकसित की गई CogVLM-17B एक घरेलू मल्टी-मोडल मॉडल है, जिसमें उत्कृष्ट प्रदर्शन है। CogVLM-17B न केवल छवियों में वस्तुओं को पहचानता है, बल्कि पूर्ण रूप से दिखाई देने वाली और आंशिक रूप से दिखाई देने वाली वस्तुओं के बीच भी अंतर कर सकता है। इस मॉडल में विशेष गहरी समेकन विधि का उपयोग किया गया है, जो चार प्रमुख घटकों के माध्यम से छवि विशेषताओं और पाठ विशेषताओं के गहरे संरेखण को प्राप्त करता है। कई क्षेत्रों में CogVLM-17B ने Google के मॉडल को पार कर लिया है, इसे चित्रात्मक रूप से '14-बेहद सेनानी' के रूप में संदर्भित किया गया है, जो इसकी मल्टी-मोडल प्रसंस्करण को दर्शाता है।